실시간 딥페이크 앱 'Delulu'를 악용해 한 스트리머가 유명 인플루언서로 위장해 성희롱 및 혐오 발언을 해 큰 논란이 일었습니다. 이 사건은 저비용 고효율의 실시간 AI 변장 기술이 악용될 경우 심각한 명예훼손과 딥페이크 범죄로 이어질 수 있음을 보여줍니다. 따라서 스트리밍 플랫폼 및 AI 개발사의 실시간 모델에 대한 적절한 사용 정책과 규제 마련이 시급한 과제로 떠올랐습니다.
생성형 AI와 '누드ify' 앱의 발전으로 성인 콘텐츠 제작자들의 몸이 무단으로 학습 데이터로 활용되거나 도용되어 심각한 정신적, 경제적 피해를 입고 있습니다. 기존의 딥페이크 논의는 얼굴이 도용된 피해자에게만 집중되었으나, 이제는 자신의 몸이 무단으로 사용되는 성인 배우들 역시 '잊혀진 피해자'로 떠오르며 법적, 사회적 보호가 시급해졌습니다.
실제 여성의 SNS 사진을 무단으로 크롤링하여 AI로 딥페이크 성인물을 제작하고, 이를 활용해 수익을 창출한 남성들이 소송을 당했습니다. 이들은 일반인 여성의 신원을 알아내기 어렵게 속이는 방법과 옷을 벗기는 AI 사용법 등을 담은 강의를 판매하며 수천 명의 구독자를 끌어모았습니다. 이 사건은 딥페이크 기술이 악용될 때 개인의 초상권과 디지털 안전에 얼마나 심각한 위협이 될 수 있는지 보여주는 중요한 사례입니다.